查看原文
其他

说人话的统计学——终点·起点 | 协和八

张之昊、田菊 协和八 2023-06-15

从2015年6月30日的第一篇《你真的懂p值吗?》,到上个月的最新一篇《广义线性模型到底是个什么鬼?》,【说人话的统计学】专栏在将近三年的时间里,已经一共推送了将近60篇文章。今天,我们在此告知各位读者朋友,我们在协和八公众号与大家的统计学之旅将要正式告一段落了。这当然不是我们憋不出来新文章、一时拍脑门的决定,而是早前确定的计划。然而,与其说这是一个终点,我们更愿意把它看作一个新起点——我们计划把过去两年多来辛勤耕耘的这片园地,在进一步改进提升以后,再以崭新的面目呈现给更广大的群体(到底是什么计划?接着往下看!)。

话别之际,我们都有一种千言万语不知从何说起的感觉——对诸位读者的谢意与不舍,对协和八这个平台和众小编的感激,专栏写作过程的体会与收获,展望未来对大家、对自己的期待,一时竟不知从何下笔。既然如此,不如我们干脆就换个形式,来个轻松随意的对谈吧。我们想象着你——我们亲爱的读者——就坐在我们身边,分享这段聊天。当然,我们十分期待你能在这篇推送下给我们留言,把你的所想所感告诉我们,真正参与到我们的对话中(批评和吐槽当然欢迎!)。

Z(张之昊):两年多的时间,说长不长,说短也不短。现在,我们这个专栏算是完成了阶段性的任务,要不咱们先说说此时感想如何吧? 

T(田菊):其实感想还挺复杂的。完成近60篇的推送,真的是很大的一个工程,要是一开始就知道要写这么多,可能都不敢开始了。真的感谢一路陪伴我们的读者,还有各位协和八的编辑们——没有你们,也就不会有这么多“说人话的统计学”专栏文章。

之前写推送文章真是很花精力,现在告一段落,心情轻松了许多。以前轮到我写推送的时候,我老公老是督促我周中写完,这样周末就可以出去玩儿了,但是作为拖延症晚期患者,常常拖到周末都写不完,心里也是挺惭愧的。回顾之前写专栏的过程,最大的感受,是觉得自己对很多统计问题的理解也加深了很多,感觉很幸运能和读者们一起进步。最后,就是期待将来将这些文章整理成书,让书里面的内容更连贯,把一些没有机会写入连载文章的想法也加进去。


Z: 是的,我也首先想在这里,向各位读者表示深深的谢意——无论你们是否读到这段对话,我们两位作者都对你们充满了感激,你们一直以来的支持和鼓励,是我们最大的动力。

同时,我们也要感谢协和八各位同仁辛勤的幕后工作。也许作者总是吸引了最多的目光,但编辑们的无私奉献同样是不可或缺的。两年多来,协和八主编徐源一直以极大的耐心和热情,支持着“说人话的统计学”。他总对我们说,不必被点击量这些东西牵着鼻子走,只管用心做最高质量的作品。在微信这个充满投机者的环境里,能有这样一心一意为读者、为作者做奉献的领导者,是值得所有人珍惜和感谢的。陈茹萱、刘洋、邹林峰三位编辑先后负责我们专栏,他们不仅是我们文章的第一读者,更以一丝不苟的排版校对工作,架起了我们与读者之间的桥梁。另外,陆逸云、赵彧墨、王文达、费凯伦等其他几位编辑也在不同时候当过“救火队员”,帮过我们大大小小的忙。而所有这些,都是在他们本已极为繁重的协和医院、医学院的临床、科研、学习工作之余完成的。他们不愧是协和精神新一代的继承者。我也深切地感到,能与一群志同道合的朋友一起,不计回报地做一点小小的事情,是一种极大的幸运。

回到写作本身,对于你刚才所说的与读者们一起进步这一点,我特别认同。一方面,这两年多来随着自己科研工作的要求,对统计学的理解在不断深入,现在回过头来看早先写下的文章,也会发现一些不够完善的地方。另一方面,我们不时看到有读者在文章底下留言,提到我们的文章帮助他们理清了之前没有弄明白的东西,以及解决了科研上的问题,这时是最有成就感的。


T:话说回来,当初你是怎么决定开始写这个专栏的?当时就计划会写两三年这么久吗? 

Z:   这个专栏的开始完全是没有预谋的。2015年的时候,协和八公众号刚刚起步不久。主编徐源与我是多年的好朋友,我想起几年前博士一年级时,随手写过一篇在耶鲁与美国的医学生一起上神经解剖学课的感受,也许协和八的读者会感兴趣,就给徐源投了个稿。这篇推送以后,徐源问我还有没有什么其他人生感悟值得分享的,我想人生感悟我恐怕没什么资格瞎说,别的话题也许还能做点贡献。当时博士已经读到了五年级,统计学的知识和经验在几年间课程和实践的摸爬滚打里有了一些积累,加上那会儿我还在耶鲁的StatLab为学校师生(尤其是医学院和附属医院的学生、教授和临床医生)提供统计咨询服务,也对于医学科研中常见的统计学问题和方法有一些体会。于是,我就问徐源,开个统计学专栏怎么样。徐源对这个想法很支持,因而就有了“说人话的统计学”。那个时候哪里知道是挖了这么大一坑儿呢(笑)。

这个专栏的定位和计划也随着写作的深入,渐渐有些变化。起初,我的想法是零散地写一些问题,也介绍一些新趋势、新思想,并没想要按照一个严格的体系来写。对于写多少、写多久,也没有很具体的计划。最开始的几篇文章推送以后,读者的反响很不错。当时微信还没有在文章底下留言的功能,但许多读者在公众号的后台留言,鼓励我把这个专栏写下去。我很认真地想了想,觉得自己在统计学的学习和实践过程中走过不少弯路,尤其是书本上理论知识的学习和科研工作中的具体实践之间,其实有不小的差距。如果能通过这个专栏,帮助读者缩短这道鸿沟,也许是很有意义的一项工作。于是,我就调整了一下思路,后来的文章围绕着几个核心思想和方法展开,希望能让没有统计学基础的读者也能从基本概念和思想开始,系统地掌握科研实践中重要的统计学方法和模型的使用。要实现这样一个目标,在每两到三周一篇推送的频率下,确实需要两三年的时间。也多亏有你后来的加入和通力协作,不然这个时间可能还会更长!

 

T:  刚才你提到了学习统计学的心路历程,能具体说说你为什么会对统计学感兴趣吗?

Z:我本科的时候,上过两门正牌的统计课,一门是概率论与数理统计,一门是生物统计学,另外还在一门偏重数学建模的课程里接触过一点线性模型和优化问题。那个时候学得很认真,也觉得概率论里头有些思维方式很有趣,但真正对统计学的理解是很模糊的,更别说具体的应用了。后来出国读博以后,因为从事的是基于大量数据的实验科学,统计学就变成一项必备的工具了,不论喜欢也好,不喜欢也好,总得会那么几招,而且还要根据实际工作的需要,学习新的统计学知识。但坦白说,博士期间头几年,还是说不上对统计学本身有太大的兴趣。

转折点发生在我误打误撞选修的一门多元统计学课程,这门课的授课老师是耶鲁统计系和环境学院的Jonathan Reuning-Scherer教授。他并不是什么特别有名的统计学大腕儿,但在教学方法上很有一套。一般来说,统计课给人的印象往往是枯燥无味的,但他开的几门课在耶鲁的学生之间赫赫有名,几乎堂堂爆满。为什么呢?他的讲授非常重视对统计学方法的直觉把握,时常用各种巧妙的比喻甚至实物展示来帮助学生理解一个数据问题的本质,以及它的解决思路。在这个基础上,再讨论严格的数学形式和理论证明,就一下子变得有意义、有来由,而不是一堆冷冰冰的符号和定理了。再加上他不知道哪里来的表演天赋,不时插科打诨甚至高歌一曲,连手上的教鞭用的都是“星球大战”的光剑(听说是从他儿子那儿借来的),总把大家逗得很开心——他曾经在一次采访里说过,在他看来,课堂教学与戏剧、音乐、舞蹈一样,都是一门表演艺术。当然了,后面的这些,要我说,在某种意义上是个“诱饵”,为的是把对统计学望而生畏的学生们吸引到它精妙的世界里。

这门课给了我看待统计学的全新视角:它不仅可以很有用,而且很有趣,很深刻。后来,出于兴趣自己又找了许多书籍和论文来看,也上了一些其他的统计学课程,进一步加深了自己对这门学科的认识。我还曾看过我国已故统计学家陈希孺院士的《数理统计学简史》,这本书写得很精当,从历史的角度梳理了统计学的发展历程,也以生动的笔触介绍了高斯、贝叶斯、费希尔、戈塞特等数学家、统计学家的治学之道。这两年来从事博士后研究,接触到了许多新的领域,以及这些领域中统计学与其他学科的交叉融合,比如人工智能、自然语言处理等等,更觉得这是一个值得自己一直探索下去的学科。

我说了这么多,要不你也分享一下你对统计学的感受和经历吧? 

T:我自己的话,大学的时候因为必修课的原因上过一门随机数学的课,学得比较多的是概率分布这一块,统计的东西涉及的不太多。当时我就是把它当一门数学课来上的,而不是作为解决实际问题的工具,在课堂上也没有意识到统计学对于科研的重要性。话说回来,那时候学的几乎所有的数学知识似乎都停留在了“解题”的层面上。

我意识到统计学的重要性,是从进入实验室开始的。听组会里高年级的学长分享新采集到的科研数据,大家一块儿批判性地讨论学术期刊上的文章,在这些过程中我逐渐学到了各种实用的分析方法。

刚才你提到,你读博期间上的一门统计课激发了你对统计学的兴趣,其实我也有类似的经历。我当年选修了Alan Agresti教授教的“线性与广义线性模型”的课。他是佛罗里达大学的教授,因为统计课教得特别好,就常被邀请到哈佛上线性模型的课,而我上的那学期恰好是Agresti教授教的。他写过不少高质量的统计学教科书,尤其是关于分类变量的分析方法的。(Z:我也看过Agresti的两本统计学教材,真羡慕你听到了真人版!)Agresti教授上课,特别善于将抽象的线性代数概念用简单的几何形式来解释,中间也不时穿插统计学家的小故事,引人入胜。他的课理论与实践结合得恰到好处,在讲完新的方法之后就会接着具体的数据集讲解实际应用中的问题。

读博士以后,自己亲身走过了设计课题、采集数据、分析数据、发表文章、文章悲剧、做更多的实验,做更多的分析、发表文章这一系列过程(此处省略三万字)之后,才对统计学的实际应用有了更多的经验。比如设计课题的时候要做功效分析,分析数据的时候会用到各种假设检验的方法等等。与此同时,我也开始认识到,整个生物科研领域对统计方法的使用上还存在许多问题,比如大家都太看重p值,很多科研结果的可重复性并不高。要解决这些问题,不仅需要统计学理论和方法的进步,也需要科研从业者统计学知识和素养的提高,而这正是我们专栏希望能尽一点绵薄之力的。

 

Z:之前许多读者也对你在Facebook的工作感到很好奇,能不能也讲讲你现在的工作内容与统计学之间的联系? 

T:在Facebook作为一个数据科学家,我的工作重点是应用统计方法解决商业问题。在互联网产品开发中,我们常常通过A/B检验来判断一个新的功能是不是比旧的功能更好。所谓A/B检验,其实就是统计学中的假设检验问题。在做实验时,我需要考虑到统计功效,决定测试的样本量,从而合理控制成本。此外,我还要选择合适的指标,作为判断那个版本更好的依据。很多用户行为的数据都不符合正态分布,这时就要考虑用什么样的统计方法最能达到目的,或者该不该对数据做log变换等等。这些问题往往没有固定的答案,要具体情况具体分析,这也更让我确信,学习统计学方法背后的原理,比随便套用公式要重要得多。在工作中,抽样调查也非常重要,这就是通过抽取一些样本进行测量,进而对总体的某个特性作出推断的过程,在社会科学的研究中是非常重要的手段。这部分的知识,我们专栏在讨论t检验和抽样分布的时候稍微涉及到了一点,以后整理出书的时候有机会也可再多讲一点。

前面我们都提到,各自在学习统计学的过程中都走过一些弯路,你觉得我们的“说人话的统计学”系列可以怎样帮助读者尽量少走弯路? 许多人对统计学里面繁杂的数学公式望而却步,对于这样的读者你有哪些建议呢?

 

Z:在清华上本科时,对我影响最深、激发我走上现在的科研道路的,是经济系系主任钟笑寒老师。他在课堂上一直强调,“用少量的知识思考广泛的问题”(A little knowledge goes a longway),后来他在一篇文章里,把它翻译成“大道至简,道不远人”。虽然钟老师说的是经济学的学习和实践,但我觉得对于其他学科是完全适用的,自然也包括统计学。所谓“少量的知识”,当然不是说我一知半解就可以胡诌了,而是说一个学科、一个理论体系也许看起来很庞大,有很多繁琐复杂的细节,但它最基本、最核心的概念、思想和方法往往是很简单的。比方说,统计学里最常用、最有力的工具线性模型,它的数学形式(不同自变量效应的线性叠加)任何一个初中水平的人都能看懂。理解这个形式的意义,就是看懂、用好线性模型的关键。至于说那些什么极大似然估计、广义线性模型的数据变换和连接函数之类,都是一些技术性的手段,并不改变它的本质。

因此,要把统计学学好、用好,我个人觉得,很大程度上在于对那些核心思想的把握,这些才是最重要的“道”。在此基础上,再针对具体问题掌握一些解决问题的“术”,其实就能应付相当多的数据分析问题了。这也是我们过去两三年来,写作“说人话的统计学”专栏的指导思想。 

T:确实如此,我也很有同感。我感觉虽然统计学有特别多的数学公式,但它跟纯粹的数学还挺不一样的。比如说,大数定律在很大程度上来源于实际经验的总结,贝叶斯公式也只是用数学语言来描述与我们认知相符合的一种推理过程。所以,形成对统计学的方法和概念的清晰、准确的直观理解,会比死记硬背公式要有效得多。

说到这里,也正好可以和大家分享一下,为什么我们决定在现在将专栏的微信推送停下,转向写作和整理书稿。关于写到什么时候收尾,我们也讨论过好几回了,选择这个节点是个经过深思熟虑的决定。正如你刚才说的,不论是专栏还是书,我们的愿望是帮助读者们对统计学的核心思想有一个比较透彻的认识和理解,并且基于这些基本思想,熟悉一些常用的方法。专栏从最开始的概率分布、p值和功效分析、贝叶斯定理等基本理论,写到t检验和方差分析,再到线性模型及广义线性模型,一路读下来的读者应当能够打下比较坚实的基础。即使因为实际工作的需要,要学习其他我们没有讲到的方法,也不会毫无头绪了。统计学博大精深,如果要“无死角”覆盖,可以永远写下去,但那样的话,一是不现实,二来也有悖我们的初衷了。

Z:是这样的。当然,这条线具体画在哪儿,也很难说有绝对意义上的最佳选择。很久以前,我们也挖过一些坑,提到过有些内容以后会再详细讲,但现在因为刚才谈到的原因,可能暂时不再列入计划内了。如果有一些读者在等待这些内容的话,我们也借此机会向你们致歉。在广度和深度之间、扩大覆盖面和加强重点之间权衡取舍,总是很难做到十全十美,因此希望大家能够理解。如果大家对特定的统计学内容有强烈的需要,欢迎大家在这篇文章底下留言,我们一方面也许可以在力所能及的前提下推荐一些其他资源,另一方面也可以在整理成书时考虑增补有普遍需求的内容。

 

T:既然讲到出书,那么我们最后和大家预告一下这本书将会是什么样子的吧?

Z:好的!首先我想说的是,既然这本书脱胎于“说人话的统计学”专栏,我们会继续保持专栏已有的风格和框架。这包括几个方面:

第一,我们面向的读者,依然是没有统计学基础、或者曾经上过一两门(也许不太愉快的)统计课但是已经对学过的知识印象不深的人群。而且,我们不希望读者陷入繁杂的数学细节中(这也是毫无必要的),因此阅读这本书并不需要太多数学背景,具备高中数学的基础知识就够用了,如果略有一点微积分基础会有帮助,但并不是必须的。

第二,我们希望在严格的、理论主导的和“菜谱”式的、只讲用法不讲原理的统计学书之间找到一个平衡点,这也是前面我们谈到过的“大道至简”的信念。我们希望读者们能从我们的书中领略到统计学的一些核心思想方法,并且掌握一些常用的方法,而且具备进一步学习其他更为专门的统计学方法的能力。因此,我们的书既可以是一本独立的统计学入门读物,也可以是阅读其他更为正式的教科书时的补充。

第三,我们希望将来这本书的阅读体验是愉悦的。我在上本科的时候,一些中文教材(不一定是统计学)有时候会让我很有挫败感——许多教材的作者,似乎都在做一个假设,就是在读某章某节的时候,读者已经把前面所有章节的内容理解到了与作者相当的程度。我至今都还记得那些一整个晚上把四五页书翻来翻去还毫无头绪的感觉,以及那种不知道该生谁的气(自己还是作者?)的恼火。从教学的角度出发,这种假设也是完全不符合认知规律的。也许熟悉我们专栏的读者会注意到,我们在文章之间的思路衔接上下了不少功夫,而且在新内容与曾经讲过的内容关系密切时,也不会吝惜用来回顾之前内容的文字。在整理成书时,我们也会保持和发扬这个风格。我们希望(而且也有这样的自信),我们会比那些个心里没有读者的教科书作者做得好得多。

此外,愉悦的阅读体验还需要许多其他的元素,比如说流畅清晰(甚至偶尔抖个包袱卖个萌)文字,有信息量的、与文字相互补充的插图,优质的编排和版式设计等等。这些我们也都会尽力做到高水准。

T:是的。具体到内容上,虽然我们之前的推送也遵循了一个大体的知识框架,但由于连载这种形式的限制,加上整体的计划是在写作过程中才逐渐确立的,所以在系统性上偶尔还是有些欠缺。我们会在修订过程中着力改善,力争为读者奉献一部精品。与此同时,也希望大家能够多给我们提意见和建议。大家在推送文章和协和八后台的留言,因为条件限制,我们不一定能每一条都回复,但是,所有的声音我们都一定会认真倾听。

 

Z & T:最后的最后,再次感谢协和八读者们的支持与鼓励,能在这里与你们分享知识,共同成长,是我们的骄傲!

作者张之昊田菊

编辑:鹅不食草

质控:异叶青兰


* 点击下方标题,或回复关键词「说人话的统计学」可随时查阅本系列任意文章!


干货

第 1 章  高屋建瓴看统计

你真的懂p值吗?

做统计,多少数据才算够?(上)

做统计,多少数据才算够?(下)

提升统计功效,让评审心服口服!

你的科研成果都是真的吗?

见识数据分析的「独孤九剑」

贝叶斯 vs 频率派:武功到底哪家强?


第 2 章  算术平均数与正态分布

数据到手了,第一件事先干啥?

算术平均数:简单背后有乾坤

正态分布到底是怎么来的?


第 3 章  t 检验:两组平均数的比较

想玩转 t 检验?你得从这一篇看起

就是要实用!t 检验的七十二变

不是正态分布,t 检验还能用吗?

只有 15 个标本,也能指望 t 检验吗?

样本分布不正态?数据变换来救场!

数据变换的万能钥匙:Box-Cox 变换

t 检验用不了?别慌,还有神奇的非参数检验

只讲 p 值,不讲效应大小,都是耍流氓!

找出 t 检验的效应大小,对耍流氓 say no!

用置信区间,就是这么(不)自信!

如何确定 t 检验的置信区间

优雅秀出你的 t 检验,提升 Paper 逼格!

要做 t 检验,这两口毒奶可喝不得!


第 4 章  方差分析(ANOVA):多组平均数的比较

要比较三组数据,t 检验还能用吗?

ANOVA 在手,多组比较不犯愁

ANOVA 的基本招式你掌握了吗?

ANOVA 做出了显著性?事儿还没完呢!

听说,成对t检验还有 ANOVA 进阶版?

重复测量 ANOVA:你要知道的事儿都在这里啦

没听说过多因素 ANOVA ?那你就可就 OUT 了!

多因素 ANOVA=好几个单因素 ANOVA?可没这么简单!

两个因素相互影响,ANOVA 结果该如何判读?

ANOVA 还能搞三四五因素?等等,我头有点儿晕

要做 ANOVA,样本量多大才够用


第 5 章  线性回归:统计建模初步

车模航模你玩过,统计学模型你会玩吗?

如果只能学习一种统计方法,我选择线性回归

回归线三千,我只取这一条

三千回归线里选中了你,你靠谱吗?

自变量不止一个,线性回归该怎么做?

找出「交互效应」,让线性模型更万能

天啦噜!没考虑到混杂因素,后果会这么严重?

回归系数不显著?也许是打开方式不对!

评价线性模型,R 平方是个好裁判吗?

如果R平方是砒霜,本文教你三种解药!

线性模型生病了,你懂得怎样诊断吗?

「脱离群众」的数据点,是「春风化雨」还是「秋风扫落叶」


第 6 章  广义线性模型:统计建模进阶

你在 或者不在 需要逻辑回归来算

逻辑回归的袅娜曲线,你是否会过目难忘?

逻辑回归的统计检验,原来招数辣么多?

线性回归能玩多变量,逻辑回归当然也能! 

喂,你的逻辑回归模型该做个体检啦

逻辑回归能摆平二分类因变量,那……不止二分类呢?

让人眼花缭乱的多项逻辑回归,原来是这么用的

只问方向,无问远近,定序回归的执念你懂吗?

包教包会:定序回归实战

「数」风流人物,还靠泊松回归

广义线性模型到底是个什么鬼?


自检

妈妈说答对的童鞋才能中奖

统计学的十个误区,你答对了吗?


番外篇

说人话的统计学:一份迟来的邀请

作者简介

张之昊

2010 年本科毕业于清华大学生命科学学院,获理学学士学位。2016 年 5 月在耶鲁大学跨院系神经科学项目获得哲学博士学位。在耶鲁期间,他利用功能核磁共振成像(fMRI)技术与计算建模研究人类经济决策的脑科学基础及其与肥胖症的联系,曾以第一作者身份在 Nature Communications, Current Biology 等顶尖学术杂志上发表多篇论著,并受到 BBC 新闻、CBC、洛杉矶时报、果壳网等知名媒体的关注和报道。他还曾任耶鲁大学 StatLab 数据咨询师(Data Consultant),为耶鲁师生提供实验设计、数据分析及统计学软件的咨询服务。2016 年 8 月至今在伯克利加州大学(UC Berkeley)哈斯商学院市场营销系担任博士后研究学者(Postdoctoral Scholar),致力于运用神经科学、经济学模型、自然语言处理及大数据方法研究消费者行为与决策。

作者简介

田菊

2010 年本科毕业于清华大学工程物理系,获工学学士学位。2016 年 5 月在哈佛大学医学院神经科学项目获得哲学博士学位。她在攻读博士期间研究基于奖赏的学习行为的神经回路及其计算模型,曾以第一作者或共同作者身份在 Nature,Cell,Neuron,Nature Neuroscience,Trends in Cognitive Science 等顶尖学术杂志上发表多篇论著。2016 年 6 月至今在 Facebook 担任数据科学家( Data Scientist ),运用大数据和人工智能解决网络诈骗、虚假新闻和不良广告等信息安全相关问题。



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存